قال الإمام في رسالة له : « لستم أعزكم اللّه تجهلون حالي ، ولا كيف كان سبيل مدخلي مع أهل هذا الزمان ، أنتم تعلمون أعزكم اللّه أني أقمت نيفا وعشرين سنة معتزلا في رأس جبل ، وأهل اليمن يختلفون إلي عاما بعد عام ، ويسألوني مع ذلك القيام ، فلم أسعفهم على مسألتهم لا جاهلا لما في ذلك من الثواب ، ولا زاهدا في طاعة رب الأرباب ، ولكن لعلمي بأهل زماني ، وما هم عليه من كثرة الإدغال ، والميل إلى المحال » . وعاد إلى اليمن للمرة الثانية بعد أن دعا إلى نفسه بالإمامة في خثعم سنة ( 388 ه ) وعمره ( 78 ) سنة . وعند وصوله إلى اليمن سارع يوسف الداعي أحد أحفاد الهادي والذي كان قد دعا إلى نفسه سنة ( 369 ه ) سارع إلى مبايعته والانضواء تحت لوائه ، وإن خرج عليه فيما بعد وكان زعيم الجبهة المعارضة له . قال الإمام القاسم في رسالة له متوجعا من بني الهادي : « وكان آخر ما جرى بحضرتكم وتوسطكم بيني وبين يوسف بن يحيى ما أجريناه من الأيمان المؤكدة ، والعهود المشددة ، بعد أن أسعفت طلبته ، وأجبت مسألته ، فلم أخالفه في شيء مما طلبه ، وكان عمله وعقده له ولكافة أهل بيته ، وانصرفنا من هنالك إلى صعدة ، وكّدنا ما كان من ذلك بحضرة وجوه خولان ورضاء الجميع منا ، لم يخرج من ذلك إلا المليح ، فتقلده أخوه على طلبة طلبها له ، فأجبته إلى ذلك ، ومضيت إلى ترج سفري هذا الآخر لنقلة من علمتم من الذرية ، فخرج إلى تهامة وأرسل إلى الأمير جعفر رعاه اللّه يسأله التوسط والضمان والمدخل بيننا ، فأجبته إلى ذلك ، ومضيت بذلك ، كتبه أبو جعفر